MoE 因其在训推流程中低销高效的特点，近两年在大语言模型领域大放异彩。作为 MoE 的灵魂，专家如何能够发挥出最大的学习潜能，相关的研究与讨论层出不穷。此前，华为 GTS AI 计算 Lab 的研究团队提出了 LocMoE ，包括新颖的路由网络结构、辅助降低通信开销的本地性 loss 等，引发了广泛关注。
小模型，正在成为 AI 巨头的新战场。
尽管有很多初创公司试图用人工智能驱动的搜索来取代当下的搜索引擎，但一家名为 Exa 的初创公司有一个不同的想法：为人工智能打造一个谷歌。创始人 Jeff Wang 和 Will Bryk 认为 Google 为人类做了什么，他们就希望通过 Exa 为 AI 做类似的事情。
这几日，AI 圈又一“震惊”事件！！
Skild AI完成3亿美元A轮融资，估值15亿美金。
Mistral AI两款全新7B模型宣战OpenAI，对标更长的代码分析和更高效的数学推理。
“AI 监工”来了
还记得去年 AI 大牛 Andrej Karpathy 大力宣传的「AutoGPT」项目吗？它是一个由 GPT-4 驱动的实验性开源应用程序，可以自主实现用户设定的任何目标，展现出了自主 AI 的发展趋势。
给全球 80 亿人提供大规模、按需的个性化教育。
很抱歉，但您未提供具体文章内容，无法生成相应的摘要。如果您能够提供文章的具体内容，我会很乐意帮助您整理成一个简短的摘要。
